Hệ thống trường công của thành phố do Sở Giáo dục Thành phố New York điều hành là hệ thống lớn nhất tại Hoa Kỳ. Khoảng 1,1 triệu học sinh được dạy trong trên 1.200 trường trung và tiểu học.[176] Có khoảng 900 trường, gồm cả tôn giáo và ngoài tôn giáo, tư thục khác trong thành phố, trong đó có một số trường tư thục nổi tiếng nhất Hoa Kỳ.[177]Mặc dù thành phố chưa bao giờ được xem là một thị trấn đại học (college town) nhưng có khoảng 594.000 sinh viên đại học tại New York, con số cao nhất so với bất cứ thành phố nào ở Hoa Kỳ.[178] Năm 2005, ba trong năm cư dân của quận Manhattan là sinh viên tốt nghiệp đại học và một trong bốn cư dân có các cấp bằng cao. Điều đó đã làm cho thành phố trở thành một trong những nơi tập trung cao nhất số người có giáo dục bậc cao so với bất cứ thành phố nào của Hoa Kỳ.[179] Giáo dục công cộng sau trung học do hệ thống Đại học Thành phố New York (City University of New York, một hệ thống đại học công lớn thứ ba toàn quốc) và Viện Kỹ thuật Thời trang (Fashion Institute of Technology) thuộc Đại học Tiểu bang New York đảm trách. Thành phố New York cũng là nơi có những trường đại học tư danh tiếng như Đại học Barnard, Đại học Columbia, Cooper Union, Đại học Fordham, Đại học New York, The New School, và Đại học Yeshiva. Thành phố có hàng tá các đại học và cao đẳng tư nhỏ hơn, bao gồm nhiều học viện tôn giáo và học viện khác như Đại học St. John, Trường Juilliard và Trường Nghệ thuật Thị giác (School of Visual Arts).

Nhiều nghiên cứu khoa học tại thành phố được thực hiện trong các khoa đời sống và y học. Thành phố New York có số lượng bằng cấp sau đại học khoa đời sống nhiều nhất, được trao hàng năm tại Hoa Kỳ. Thành phố có 40.000 bác sĩ có bằng hành nghề và 127 người đoạt giải Nobel có nguồn gốc tốt nghiệp từ các học viện địa phương.[180] Thành phố nhận số quỹ hàng năm nhiều thứ hai từ cơ quan "Các viện Y tế Quốc gia" (National Institutes of Health) so với tất cả các thành phố Hoa Kỳ.[181] Các viện nghiên cứu y tế sinh học gồm có Trung tâm Ung thư Memorial Sloan-Kettering, Đại học Rockefeller, Trung tâm Y tế SUNY Downstate, Trường Y khoa Albert Einstein, Trường Y khoa Mount Sinai và Trường Y khoa Weill Cornell, Đại học Cornell.

Thư viện Công cộng New York là nơi có số lượng sách lớn nhất, hơn bất cứ hệ thống thư viện công cộng nào tại Hoa Kỳ. Nó phục vụ các quận Manhattan, The Bronx, và Đảo Staten.[182] Thư viện Công cộng Quận Queens, hệ thống thư viện công cộng lớn thứ hai toàn quốc, phục vụ quận Queens và Thư viện Công cộng Brooklyn phục vụ quận Brooklyn.[182] Thư viện Công cộng New York có vài thư viện nghiên cứu trong đó có Trung tâm Nghiên cứu Văn hóa người Da đen Arthur Schomburg.

Thành phố New York cũng có nhiều trường tư thục đặc biệt và xuất sắc nhất trên toàn quốc. Các trường này gồm có Trường Brearley, Trường Dalton, Trường Spence, Trường Browning, Trường The Chapin, Trường Nightingale-Bamford và Convent of the Sacred Heart nằm phía đông Thượng Manhattan; Trường Collegiate và Trường Trinity nằm phía tây Thượng Manhattan; Trường Horace Mann, Trường Văn hóa Đạo đức Fieldston và Trường Riverdale Country trong khu Riverdale, Bronx; và Học viện Packer Collegiate và Trường Saint Ann trong khu Brooklyn Heights, Brooklyn.

Một số trường trung học nổi tiếng của Thành phố New York, thường được xem là tốt nhất toàn quốc, gồm có: Trung học Hunter College, Trung học Stuyvesant, Trung học Khoa học Bronx, Trung học Kỹ thuật Brooklyn, Bard High School Early College, Trung học Townsend Harris, và Trung học LaGuardia. Thành phố là nơi có trường trung học Công giáo La Mã lớn nhất tại Hoa Kỳ là Trường Dự bị St. Francis trong khu Fresh Meadows, Queens, và trường người Mỹ gốc Ý chính thức duy nhất trên toàn quốc là La Scuola d'Italia nằm phía đông Thượng Manhattan.